Durbuy kreeg zijn eerste versterkt kasteel rond 899. Het werd een eeuw later verwoest en in de elfde eeuw laat Hendrik I van Namen, Graaf van Durbuy, het kasteel heropbouwen. Van de twaalfde tot de dertiende eeuw is Durbuy en zijn kasteel eigendom van Jan, graaf van Luxemburg en koning van Bohemen, die het heel vroeg laat integreren in het verdedigingssysteem van de Graafschappen van Luxemburg.
In de vijftiende eeuw gaat Durbuy samen met het gehele graafschap Luxemburg over in de handen van Filips de Goede. In 1726 komt Durbuy in bezit van de familie d’Ursel. In 1731 gaf Conrad-Albert d’Ursel opdracht een nieuw kasteel te bouwen. In 1880 liet gravin Augusta van d’Ursel het kasteel grondig moderniseren waarbij het kasteel zijn huidige aanblik kreeg.
Ondanks de vele verbouwingen van het kasteel, en de veranderingen van de stad is de ligging onveranderd gebleven. Een rots waarop het kasteel nog steeds verijst, het pittoreske van de stad Durbuy, genesteld in de vallei van de Ourthe, kan nog steeds vele mensen bekoren.